vlwkaos' digital garden

인공지능 오남용 사례

This post is Work-In-Progress

인종과 기술사이의 정의

흑인 얼굴 인식이 잘 안된다는 비판에 데이터 양을 늘리려고 구글은 노숙자 맘대로 찍음

기술적 결함/데이터 양 감시체제 -> 자유

affect recognition -> 감정 인식

  • 수업/ 일자리/ 채용에 사용 스탠포드 심리학 교수 Jeanne Tsai는 감정이 문화마다 특정적이다. 이게 어떻게 성공적인 고용인이 되는지의 지표로 사용될 수 있고, 우리는 교실에서 유색인종의 아이들에게 더 많은 처벌을 하게 될 것인가?

새로운 기술을 설계하고 구현할 때는 법적/ 윤리적 기준을 세우기 위해 세심하고 깊은 논의가 필요하다.

Matt Cagle - digital rights issues, privacy surveilence, free speech

현대 최신 기술들이 공개적으로 논의된 후에 정의와 공정을 기반으로 구현되어야한다고 주장하는 사람. 경찰이 사용하는 감시체제, 온라인 플랫폼이 어떤 방향을 가져야하는지 제시한다.

최근 샌프란시스코가 얼굴인식을 불법으로 하는데 중추적 역할을 했다. 캘리포니아에서 경찰이 감시카메라에 얼굴인식 기능을 넣는것을 저지했다.

특정 기술들에 대해 금지를 주장한다. 얼굴인식 -> 정부가 사람들을 감시하는 체제. 우리는 기업과 정부가 얼굴인식/감정인식 생체지표를 통한 감시를 맘대로 테스트하도록 두고있다.= 어떤 제약도 없다 사실 민중과 정책을 만드는 사람들은 이런것을 금지하길 원하고 관련 법안들을 내고있다.

며칠전에 AWS 웹사이트를 뒤지다가 Rekognition이라는 걸 발견했는데, 걔네는 암묵적으로 수백명 인파의 얼굴을 인식할 수 있는 기술을 광고하고있었따. use case는 경찰관이 입을 수 있는 옷에 달기. 그니까 결국은 감시체제를 인공지능 기술로 둔갑시켜 팔고있었던 것이다. 그니까 아마존은 경찰의 일을 오해하고 있고 경찰은 시민(커뮤니티)을 보호해야하는데 오히려 감시를 통해 영향을 끼칠 수 있다는걸 모르나. 광고는 흑인총기사고를 특정하여 경찰이 더 잘 대응하라고 만들어 진 것이다.

고객인 경찰서에 메일을 보냈다. 알고보니 아마존이 무료로 제공하고 있음 그리고 프로모션하도록 장려함. 경찰들이 이런 정보를 가져오면 범죄자의 얼굴을 더 잘 인식하도록? 근데 이런게 이제 감시 카메라까지 확장이 되면? 구 감시체계는 어떤 사람의 행적을 추적하기 위해 직접적으로 움직이는 노력이 필요했다(일부러). 그니까 자원을 소모해야했다. 얼굴인식은 그런 요소를 다 없애버린다.

잘못된 기술은 응당 잘못된 결과를 불러온다. 그러나 잘 작동하는 것도 예외는 아니다. 권리 침해, 프로파일을 손까딱안하고 만들고 감정을 알아내고. 이건 즉 정부가 니가 어떤 교회를 누구랑 가는지 다 알 수 있고, 여성권 운동에 참여했는지 알 수 있고, 등등.. 정치사회적 힘을 더 얻게된다.

사람들은 감시당한다는걸 알게되면 진정한 자유를 행사하지 못하게 된다.

얼굴인식 기술은 확장하는게 너무 쉬워서 오용되기가 쉬움. 오용될거라는 확신은? 역사가 증명한다. 자동차 번호판->사진, GPS태깅. 나중에 이걸로 운전자의 거주정보를 알게됨. 이걸로 불법차량 같은걸 찾아내는데 사용하고 나중에는 막 사람들 어디갔는지 이런거 직접 검색해서 이민자들 쫒아내고 가족도 찾아내고. 근데 첫 목적은 그게 아니엇찌?

볼티모어에서 SNS 사진 얼굴인식해서 데모하는 사람들 다 잡아가고. 그니까 감시체제를 만들고 사용하게 되면 문제가되는건 시간문제 기술적 문제/ bias / 사람에 의한 오용

제대로 학습되었는지 의문을 제기하기도 전에. 체포됨 (잘못된 학습정보를 피딩하는 경우) NYPD에서 흐릿한 사진의 인물을 인식하지 못하자, 우디헤리슨(비슷하게 보이는)사람의 이미지를 학습시켰다 (그니까 정답을 일부러 넣어서 overfit시키는) 그리고 그렇게 나온 결과를 가지고 그 사람을 체포했다. 이런 기술들을 허용할지 말지와 이런 기술을 사용해서 올바르게 감시할 수 있는 체제를 전적으로 시민사회와 대중들에게 맡겨야한다. 경찰이아니고


Referred in

인공지능 오남용 사례